LVS原理详解及部署之五：LVS+keepalived实现负载均衡&高可用

一、实验环境需求&准备

        这次实验要完成的一个架构如下图所示，通过LVS-DR-MASTER,LVS-DR-BACKUP作为LVS负载均衡调度器，并且两者之间通过keepalived来两者之间的HA。keepalived本身就是为了LVS为开发的，所以说通过keepalived来进行LVS的配置就显得十分的方便。而且keepalived是直接操作ip_vs不用通过ipvsadm，所以更加方便。

  1. 实验架构图&需求表：

角色 IP地址 备注
主LVS调度器（MASTER) 192.168.41.181 使用keepalived配置备
LVS调度器（BACKUP) 192.168.41.25  
1HTTP服务器（RS1) 192.168.41.31 apache服务器（一般生产环境需要外网IP地址，这里用内网IP地址替代）
HTTP服务器（RS2) 192.168.41.33  
虚拟IP地址（VIP) 192.168.41.249 虚拟IP地址
  1. 部署http服务器，验证能正常访问

        这里就是要保证http能正常访问。

二、配置keepalived实现负载均衡&高可用

安装keepalived软件

1
2
3
4
5
6
wget http://www.keepalived.org/software/keepalived-1.2.8.tar.gz
tar -zxf keepalived-1.2.8.tar.gz
cd keepalived-1.2.8
./configure --prefix=/usr/local/keepalived
make
make install

        配置keepalived的自启动&拷贝keepalived的执行程序

1
2
3
4
cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/

        开启内核的转发功能

1
vi /etc/sysctl  net.ipv4.ip_forword = 1

配置LVS-DR-MASK的keepalived.conf配置文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
! Configuration File for keepalived
global_defs {
 notification_email {
 752119102@qq.com #设置报警邮箱，一般不再这做，而是用其他方式报警。
 }
 notification_email_from keepalived@localhost #设定发送邮件地址
 smtp_server 127.0.0.1 #设定发送邮件服务器
 smtp_connect_timeout 30 #设定SMTP连接超时时间
 router_id LVS_DEVEL #查阅说明文档得知route_id配置是为了标识当前节点，我将其设置为NodeA。当然两个节点的此项设置可相同，也可不相同。
}
vrrp_instance VI_1 { #定义虚拟路由实例，不同实例ID不同。
 state MASTER  #定义服务器在keepalived中的角色主服务器
 interface eth0 #定义进行检测的端口eth0
 virtual_router_id 51 #定义虚拟路由ID，同一个实例的主从一样。
 priority 100  #定义在虚拟路由器组的权限，越大越高
 advert_int 1 #定义检测时间间隔
 authentication { #定义认证方式密码，主从必须一样
 auth_type PASS
 auth_pass 1111
 }
 virtual_ipaddress { #指定虚拟IP地址
 192.168.41.249
 }
}
virtual_server 192.168.41.249 80 { #定义虚拟服务，需指定IP地址和端口，空格隔开。
 delay_loop 6  #定义RS运行情况监测时间间隔
 lb_algo rr  #定义负载调度算法
 lb_kind DR #定义LVS的工作模式
 nat_mask 255.255.255.0 #定义虚拟服务的mask
 persistence_timeout 50 #定义会话保持时间，S为单位
 protocol TCP #指定转发协议
 real_server 192.168.41.31 80 { #定义真实服务器IP地址和端口
 weight 1 #定义RS的权重
 TCP_CHECK{ #RS server健康检查部分
 connect_timeout 10 #定义超出10s连接超时
 nb_get_retry 3 #定义重试次数
 delay_before_retry 3 #定义重试时间间隔
 connect_port 80 #定义健康检查端口
 }
 real_server 192.168.41.33 80 { 
 weight 1
 TCP_CHECK{ 
 connect_timeout 10 
 nb_get_retry 3 
 delay_before_retry 3 
 connect_port 80 
 }
}

配置LVS-DR-BACKUP的keepalived.conf配置文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
! Configuration File for keepalived
global_defs {
 notification_email {
 752119102@qq.com #设置报警邮箱，一般不再这做，而是用其他方式报警。
 }
 notification_email_from keepalived@localhost #设定发送邮件地址
 smtp_server 127.0.0.1 #设定发送邮件服务器
 smtp_connect_timeout 30 #设定SMTP连接超时时间
 router_id LVS_DEVEL  #负载均衡器标示，在局域网内是唯一的
}
vrrp_instance VI_1 { #定义虚拟路由实例，不同实例ID不同。
 state BACKUP  #定义服务器在keepalived中的角色
 interface eth0 #定义进行检测的端口eth0
 virtual_router_id 51 #定义虚拟路由ID，同一个实例的主从一样。
 priority 50  #定义在虚拟路由器组的权限，越大越高
 advert_int 1 #定义检测时间间隔
 authentication { #定义认证方式密码，主从必须一样
 auth_type PASS
 auth_pass 1111
 }
 virtual_ipaddress { #指定虚拟IP地址
 192.168.41.249
 }
}
virtual_server 192.168.41.249 80 { #定义虚拟服务，需指定IP地址和端口，空格隔开。
 delay_loop 6 #定义RS运行情况监测时间间隔
 lb_algo rr #定义负载调度算法
 lb_kind DR #定义LVS的工作模式
 nat_mask 255.255.255.0 #定义虚拟服务的mask
 persistence_timeout 50 #定义会话保持时间，S为单位
 protocol TCP #指定转发协议
 real_server 192.168.41.31 80 { #定义真实服务器IP地址和端口
 weight 1 #定义RS的权重
 TCP_CHECK{ #RS server健康检查部分
 connect_timeout 10 #定义超出10s连接超时
 nb_get_retry 3 #定义重试次数
 delay_before_retry 3 #定义重试时间间隔
 connect_port 80 #定义健康检查端口
 }
 real_server 192.168.41.33 80 { 
 weight 1
 TCP_CHECK{ 
 connect_timeout 10 
 nb_get_retry 3 
 delay_before_retry 3 
 connect_port 80 
 }

        说明：这里主LVS-DR-MASTER和LVS-DR-BACKUP之间的配置的差别就只有红色部分：HA的角色（MASTER,BACKUP)和优先级不同，还有router_id。

客户端配置LVS参数

        客户端需要做的工作就是绑定我们的VIP在lo口，并且进行ARP抑制，之前的文章已经提过此方法咯。现在我们就换成将配置写成脚本来执行。

        脚本内容：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
[root@RS2 ~]# cat lvs-client.sh
#!/bin/bask
# 752119102@qq.com
#
. /etc/rc.d/init.d/functions
VIP=(
192.168.41.249
)
function start(){
 for ((i=0;i<`echo ${#VIP[*]}`;i++))
 do
 echo ${i} ${VIP[$i]}
 ifconfig lo:${i} ${VIP[$i]} netmask 255.255.255.255 up
 route add -host ${VIP[$i]} dev lo
 done
echo "1">/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2">/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1">/proc/sys/net/ipv4/conf/all/arp_announce
echo "2">/proc/sys/net/ipv4/conf/all/arp_announce
}
function stop(){
 for ((i=0;i<${#VIP[*]};i++))
 do
 echo ${i} ${VIP[$i]}
 ifconfig lo:${i} ${VIP[$i]} netmask 255.255.255.255 up
 route del -host ${VIP[$i]} dev lo:${i}
 done
}
case "$1" in
 start)
 start
 exit
 ;;
 stop)
 stop
 exit
 ;;
 *)
 echo "You must use $0:stop|start"
 ;;
esac

测试实验结果

        如果测试部成功可以按照三角的排查原理来进行排查，显示client到RS端是否能通讯，LB到RS能否通讯，client到LB是否能通讯，client到VIP是否能够通讯。并且查看LVS的运行状态。一定要确保keepalived.conf这个配置文件是正确的。